Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering
学会对VLA说什么：几乎无害的视觉语言动作模型引导
🧭 具身智能 · VLA语言引导与安全拒绝 ★ 深度解读
Carnegie Mellon University
交互式搜索语言序列并利用共形预测实现无害化语言引导，显著提升冻结VLA的任务成功率
📌 工作参考价值（4 点）
- 冻结模型的语言层干预：在推荐或对话Agent中，若已有强大的基座模型（如LLM），无需微调模型权重，通过学习一个轻量的语言策略（LFP）在测试时动态改写用户指令或系统提示，即可引导模型行为，避免重训成本。
- 结构化语言空间搜索与蒸馏：通过VLM生成叙述先验，再基于LLM产生局部语义扰动，最后用闭环rollout筛选高奖励序列并蒸馏到小模型，这种方法可直接用于生成式推荐中的query/文案优化：先由大模型提供候选，再通过在线A/B或模拟环境筛选，最后蒸馏到轻量策略。
- 共形预测实现安全拒绝：训练一个改进头预测干预收益，再用共形预测校准阈值，当分布外时拒绝语言引导，退回原始指令。这种“无害优先”的安全机制可以应用到风险敏感的电商Agent中，如仅在高置信度下进行动态价格推荐或主动营销。
- 闭环语言反馈的恢复行为：与一次性改写指令不同，闭环语言策略能根据环境状态实时调整语言，实现错误恢复。在对话式推荐或多步Agent协作中，实时反馈和状态适应是提升任务完成率的关键。